Head Pose Estimation Using a Texture Model Based on Gabor Wavelets

International audienceNo abstrac

Positive/Negative Emotion Detection from RGB-D upper Body Images

International audienceThe ability to identify users'mental states represents a valu-able asset for improving human-computer interaction. Considering that spontaneous emotions are conveyed mostly through facial expressions and the upper Body movements, we propose to use these modalities together for the purpose of negative/positive emotion classification. A method that allows the recognition of mental states from videos is pro-posed. Based on a dataset composed with RGB-D movies a set of indic-tors of positive and negative is extracted from 2D (RGB) information. In addition, a geometric framework to model the depth flows and capture human body dynamics from depth data is proposed. Due to temporal changes in pixel and depth intensity which characterize spontaneous emo-tions dataset, the depth features are used to define the relation between changes in upper body movements and the affect. We describe a space of depth and texture information to detect the mood of people using upper body postures and their evolution across time. The experimentation has been performed on Cam3D dataset and has showed promising results

Head pose estimation for visual field projection

International audienc

Estimation of the visual gaze in a controlled environment

L’objectif principal de mon travail de thèse est l’extraction de la direction du regard (attention visuelle) d’une personne à partir de la vidéo. Cette analyse est effectuée dans un environnement composé d’une scène cible et d’une zone d’observation. La scène cible est une région d’intérêt définie pour être analysée (e.g. un écran plasma large, une image projetée sur un mur, une affiche publicitaire, un linéaire dans un magasin, ou la vitrine d’un magasin). La zone surveillée quant à elle est l’emplacement d’où les personnes regardent la scène cible (e.g. la rue, un couloir ou bien les allées d’un supermarché). Les connaissances qui sont extraites sont alors utilisées pour comprendre le comportement visuel de personnes ainsi que pour la réorganisation de la scène cible. Pour atteindre cet objectif, nous proposons une approche basée sur l’estimation de l’orientation de la tête et la projection du champ visuel pour localiser la région d’intérêt. Nous avons utilisé une méthode d’estimation de l’orientation de la tête basée sur l’apparence globale et sur un modèle cylindrique, et une méthode de projection géométrique pour extraire les régions d’intérêts basée sur les données physiologiques de la vision humaine. L’analyse du comportement visuel des personnes a été effectuée à l’aide d’un ensemble de métriques. Les méthodes proposées ont été validées sur des données vidéos et images.The aim of this thesis is to analyze the behaviour of the people passing in front of a target scene. We consider an environment composed of a so-called target scene (a specific scene under analysis, such as a large plasma screen, a projected image, an advertising poster, a shop window, etc.) and a monitored area (place from which people look at the target scene, such as a street or shopping mall). Computer vision provides promising techniques enabling to obtain such information by analyzing videos captured by cameras monitoring this area. Such information are useful in order to simplify technologies that uses the output of the studies about a target scene. In this thesis, we propose an approach that estimates the visual gaze of a person in a controlled environment. The visual gaze of a person is estimated from the head pose. It is followed by its projection on the target scene that allows to estimate the approximate location of interest. Finally, an analysis of the region of interest allows an accurate explanation of the human activity and interest

Estimation du regard dans un environnement contrôlé

The aim of this thesis is to analyze the behaviour of the people passing in front of a target scene. We consider an environment composed of a so-called target scene (a specific scene under analysis, such as a large plasma screen, a projected image, an advertising poster, a shop window, etc.) and a monitored area (place from which people look at the target scene, such as a street or shopping mall). Computer vision provides promising techniques enabling to obtain such information by analyzing videos captured by cameras monitoring this area. Such information are useful in order to simplify technologies that uses the output of the studies about a target scene. In this thesis, we propose an approach that estimates the visual gaze of a person in a controlled environment. The visual gaze of a person is estimated from the head pose. It is followed by its projection on the target scene that allows to estimate the approximate location of interest. Finally, an analysis of the region of interest allows an accurate explanation of the human activity and interest.L'objectif principal de mon travail de thèse est l'extraction de la direction du regard (attention visuelle) d'une personne à partir de la vidéo. Cette analyse est effectuée dans un environnement composé d'une scène cible et d'une zone d'observation. La scène cible est une région d'intérêt définie pour être analysée (e.g. un écran plasma large, une image projetée sur un mur, une affiche publicitaire, un linéaire dans un magasin, ou la vitrine d'un magasin). La zone surveillée quant à elle est l'emplacement d'où les personnes regardent la scène cible (e.g. la rue, un couloir ou bien les allées d'un supermarché). Les connaissances qui sont extraites sont alors utilisées pour comprendre le comportement visuel de personnes ainsi que pour la réorganisation de la scène cible. Pour atteindre cet objectif, nous proposons une approche basée sur l'estimation de l'orientation de la tête et la projection du champ visuel pour localiser la région d'intérêt. Nous avons utilisé une méthode d'estimation de l'orientation de la tête basée sur l'apparence globale et sur un modèle cylindrique, et une méthode de projection géométrique pour extraire les régions d'intérêts basée sur les données physiologiques de la vision humaine. L'analyse du comportement visuel des personnes a été effectuée à l'aide d'un ensemble de métriques. Les méthodes proposées ont été validées sur des données vidéos et images

Estimation du regard dans un environnement contrôlé

L objectif principal de mon travail de thèse est l extraction de la direction du regard (attention visuelle) d une personne à partir de la vidéo. Cette analyse est effectuée dans un environnement composé d une scène cible et d une zone d observation. La scène cible est une région d intérêt définie pour être analysée (e.g. un écran plasma large, une image projetée sur un mur, une affiche publicitaire, un linéaire dans un magasin, ou la vitrine d un magasin). La zone surveillée quant à elle est l emplacement d où les personnes regardent la scène cible (e.g. la rue, un couloir ou bien les allées d un supermarché). Les connaissances qui sont extraites sont alors utilisées pour comprendre le comportement visuel de personnes ainsi que pour la réorganisation de la scène cible. Pour atteindre cet objectif, nous proposons une approche basée sur l estimation de l orientation de la tête et la projection du champ visuel pour localiser la région d intérêt. Nous avons utilisé une méthode d estimation de l orientation de la tête basée sur l apparence globale et sur un modèle cylindrique, et une méthode de projection géométrique pour extraire les régions d intérêts basée sur les données physiologiques de la vision humaine. L analyse du comportement visuel des personnes a été effectuée à l aide d un ensemble de métriques. Les méthodes proposées ont été validées sur des données vidéos et images.The aim of this thesis is to analyze the behaviour of the people passing in front of a target scene. We consider an environment composed of a so-called target scene (a specific scene under analysis, such as a large plasma screen, a projected image, an advertising poster, a shop window, etc.) and a monitored area (place from which people look at the target scene, such as a street or shopping mall). Computer vision provides promising techniques enabling to obtain such information by analyzing videos captured by cameras monitoring this area. Such information are useful in order to simplify technologies that uses the output of the studies about a target scene. In this thesis, we propose an approach that estimates the visual gaze of a person in a controlled environment. The visual gaze of a person is estimated from the head pose. It is followed by its projection on the target scene that allows to estimate the approximate location of interest. Finally, an analysis of the region of interest allows an accurate explanation of the human activity and interest.LILLE1-Bib. Electronique (590099901) / SudocSudocFranceF

Analysis of human behaviour in front of a target scene

International audienceNo abstrac

Determination of the Visual Field of Persons in a Scene

No abstrac

Analysing complex videos for public safety and monitoring

International audienc

Multi-Modal User Interactions in Controlled Environments

International audience- One of first books to cover primarily multimodality and behavioral data, rather than mono-modality tracking and analysis font- Discusses a video-based system that boosts productivity and increases satisfaction by automating repetitive human tasks- Focuses on the presentation of information to the userMulti-Modal User Interactions in Controlled Environments investigates the capture and analysis of user’s multimodal behavior (mainly eye gaze, eye fixation, eye blink and body movements) within a real controlled environment (controlled-supermarket, personal environment) in order to adapt the response of the computer/environment to the user. Such data is captured using non-intrusive sensors (for example, cameras in the stands of a supermarket) installed in the environment. This multi-modal video based behavioral data will be analyzed to infer user intentions while assisting users in their day-to-day tasks by adapting the system’s response to their requirements seamlessly. This book also focuses on the presentation of information to the user. Multi-Modal User Interactions in Controlled Environments is designed for professionals in industry, including professionals in the domains of security and interactive web television. This book is also suitable for graduate-level students in computer science and electrical engineering